Sur la voie de l'intelligence artificielle, la Chine progresse régulièrement grâce à l'innovation indépendante. Le 26 novembre, le premier modèle multimodal de grande taille au monde à mille milliards de paramètres, "Zi Dong Tai Chu 3.0", a été officiellement dévoilé à Wuhan, marquant une avancée significative pour les technologies IA chinoises. Il ne s'agit pas seulement d'une évolution technique, mais aussi d'une étape importante pour l'écosystème IA chinois. Développé conjointement par l'Institut d'automatisation de l'Académie chinoise des sciences, Huawei et le district de haute technologie de Dong Hu à Wuhan, "Zi Dong Tai Chu" a réussi à construire le premier modèle d'entraînement préalable au monde couvrant trois modalités : images, texte et audio. Source de l'image disponible.

Des scientifiques ont réussi à entraîner un modèle du niveau de ChatGPT en n'utilisant que 8 % de la capacité de calcul. Une équipe de recherche a utilisé une technologie innovante sur le supercalculateur Frontier, n'utilisant que quelques milliers de GPU AMD pour entraîner un modèle linguistique à mille milliards de paramètres. L'équipe a atteint une efficacité de mise à l'échelle faible à 100 % pour les modèles à 175 milliards et 1 000 milliards de paramètres, tout en n'occupant que 8 % de la capacité de calcul. Les résultats de la recherche montrent que l'entraînement de grands modèles linguistiques à mille milliards de paramètres reste un défi.